Harnessing Domain Specialists in Multimodal Mixture-of-Experts for Efficient Adaptation
在多模态MoE中利用领域专家实现高效适配
🧭 MoE领域专家选择与高效适配
California Institute of Technology
发现多模态MoE专家自发语义专精，ExpertLens解码路由权重定位专家并选择性微调，仅更新21.7-47%参数达4倍加速
📌 工作参考价值（3 点）
- 对已有的多模态 MoE backbone（商品图/文、视频、广告创意理解等），可直接复用 ExpertLens 思路：无需新增标注数据，从 router 权重解码出与目标域相关的专家，再做选择性微调；比全参微调便宜、比 LoRA 更稳，适合电商域迁移（如从通用视觉语言模型适配到美妆/3C 商品理解）。
- 在需要频繁接入新业务/新类目的推荐与广告系统中，可把“专家定位—选择性更新”作为增量适配流程：只更新约 1/4~1/2 参数，训练加速约 4 倍，节省 GPU 成本，同时保持旧任务能力。
- 当标签稀缺或受隐私限制时，这种 data-free 的专家识别可先于标注构建领域路由，后续再小样本微调；对搜索词改写、商品属性抽取、多模态 embeddings 等任务具有工程可行性。